Ngày 11 tháng 1 năm Hàm Phong đầu tiên (1851), ông tham gia khởi nghĩa Kim Điền, là một trong 40 anh em kết bái với Hồng Tú Toàn.

Khi Hồng Tú Toàn kiến quốc tại Vĩnh An, Khai Phương được thụ làm Kim nhất tổng chế. Tháng 4 năm Hàm Phong thứ 2 (1852) ông theo Tây vương Tiêu Triều Quý từ Vĩnh An lên phía bắc, tháng 6 tiến vào Hồ Nam, chiếm Đạo Châu, liên tiếp hạ được các nơi Giang Hoa, Vĩnh Minh, Quế Dương Châu, Sâm Châu… Ngày 11 tháng 9, quân Thái Bình tiến đến chân thành Trường Sa. Khai Phương soái bộ hạ xông vào thành cùng quân Thanh quân giao chiến, giết được mấy ngàn người. Ông được thăng làm Kim quan chánh tướng quân. Ngày 2 tháng 12, quân Thái Bình đánh hạ Ích Dương, Dương Tú Thanh lệnh cho Lâm Phượng Tường, Khai Phương soái lĩnh cánh quân tiên phong đi đánh Nhạc Châu và Hán Dương. Chưa đến 10 ngày, hạ được Hán Dương, ông được thăng làm Điện hữu nhị chỉ huy.

Ngày 12 tháng 1 năm thứ 3 (1853), quân Thái Bình kết thuyền làm cầu, vượt Trường Giang tấn công Vũ Xương, Lâm, Lý lĩnh quân đi trước chôn địa lôi, làm nổ tung cửa thành. Họ xông vào, cùng quân Thanh giao chiến kịch liệt trong các ngõ hẻm, đánh bại quân Thanh, chiếm lấy Vũ Xương. Ngày 14 cùng tháng, Đông vương Dương Tú Thanh thăng Khai Phương làm Điện hữu nhị kiểm điểm. Không lâu sau, Thiên vương Hồng Tú Toàn lại gia phong ông làm Địa quan chánh thừa tướng.

Ngày 9 tháng 2, quân Thái Bình chia 2 đường thủy, lục tiến xuống phía đông. Lâm, Lý thụ mệnh thống lĩnh lục quân, nhanh chóng hạ được các nơi Cửu Giang, Đồng Lăng, Vu Hồ, phủ Thái Bình, Hòa Châu,… Trung tuần tháng 3, nghĩa quân bao vây thành Nam Kinh, Khai Phương đánh hạ cửa Tụ Bảo vào thành. Ngày 19 tháng 3, quân Thái Bình chiếm được Nam Kinh.